Năm 1941, ông theo Nguyễn Ái Quốc về nước và tham gia hoạt động xây dựng cơ sở của đoàn thể Cứu Quốc của Việt Minh tại Cao Bằng. Tháng 4 năm 1944, ông tham gia công tác tổ chức vận chuyển vũ khí từ Trung Quốc về Việt Nam để tổ chức lực lượng vũ trang kháng Nhật. Khi Nguyễn Ái Quốc, với cái tên mới là Hồ Chí Minh, thoát khỏi sự quản thúc của Quốc dân đảng Trung Quốc và trở về nước vào tháng 9 năm 1944, ông lại được Việt Minh phân công công tác bảo vệ cho lãnh tụ Việt Minh. Tháng 4 năm 1945, khi lực lượng Cứu quốc quân và Việt Nam Tuyên truyền Giải phóng quân sáp nhập thành Giải phóng quân, ông được cử làm Tiểu đội trưởng Tiểu đội Giải phóng quân Thất Khê và tham gia giành chính quyền tại Thất Khê tháng 8 năm 1945.